ICSC 2019《Evaluating Architectural Choices for Deep Learning Approaches for Question Answering over Knowledge Bases》通过实验研究知识库问答中的深度学习方法架构选择,其中在谓词预测任务中设定了下列架构:
EMNLP 2012《PATTY: A taxonomy of relational patterns with semantic types》一文中介绍了一种经典的谓词词典的构造方法,而 AAAI 2020《The Value of Paraphrase for Knowledge Base Predicates》指出了前者的问题,并提出了一个优化后的谓词词典。部分现有词典的概览如上图所示。Patty 是一个谓词到短语的词典,包含 225 个谓词和 127,811 个谓词-短语对。可见其谓词数量相当有限,并被后者认为其中存在一定的错误。后者收集了 DBpedia(一个基于维基百科构建的知识库)中的 2,284 个谓词和 31,130 个谓词-短语对,其包含的谓词数量大幅提升,并去除了许多错误的短语。在问答系统之外,作者还尝试将该词典应用于问题生成任务。作者通过实验证明,其新词典在 QALD(一项链接数据上构建问答系统的评估竞赛)上的表现有一定提升,其中带 * 表示使用新词典,如下图所示。
深度学习本质是经验主义的发展,而未知关系超出了经验的范畴,即训练数据中包含的关系总是有限的,需要通过额外的信息缓解这一缺陷。ACL 2019《Learning Representation Mapping for Relation Detection in Knowledge Base Question Answering》认为利用知识图谱嵌入的预训练模型是一种方法。预训练模型产生的关系表示不直接适用于特定的任务,若将它作为初始表示,可根据有标签的训练数据对模型进行微调,即相当于利用预训练模型丰富的语言知识,同时重点考虑如何将它的通用表示应用到关系识别任务中来。但是,未知关系,即训练数据中没有见过的关系,其表示无法在微调中被更新。因此,作者尝试构建关系表示的适配器(adapter),以将通用目标的表示转换为任务特定的表示。
[1] ACL 2016|Simple Question Answering by Attentive Convolutional Neural Network [2] ACL 2017|Improved Neural Relation Detection for Knowledge Base Question Answering[3] ICSC 2019|Evaluating Architectural Choices for Deep Learning Approaches for Question Answering over Knowledge Bases[4] ISWC 2019|Pretrained Transformers for Simple Question Answering over Knowledge Graphs[5] EMNLP 2012|PATTY: A taxonomy of relational patterns with semantic types[6] AAAI 2020|The Value of Paraphrase for Knowledge Base Predicates[7] ACL 2019|Learning Representation Mapping for Relation Detection in Knowledge Base Question Answering